James Madison, Jr. sinh ngày 16/3/1751 (5/3/1751, theo lịch cũ - lịch Julian) tại Belle Grove Plantation gần Port Conway, bang Virginia. Cha ông là James Madison, Sr. và mẹ ông là Nelly Conway Madison. Trong gia đình, ông là người lớn nhất trong số mười hai người con,[1] với bảy em trai và bốn em gái sau đó. Ba người em của James Jr. mất khi còn sơ sinh, trong đó một người chết lưu thai. Vào mùa hè năm 1775, em gái ông, Elizabeth(7 tuổi) và em trai ông, Reuben(3 tuổi) đã chết vì bệnh lỵ quét qua Orange County do dòng nước nơi này bị ô nhiễm.[2] Cha của ông, James Madison, Sr.(1723-1801) là người trồng thuốc lá trên một đồn điền lớn với tên gọi sau này là Mount Pleasant mà ông được thừa hưởng khi đến tuổi trưởng thành. Sau đó, ông mua lại được tài sản và nô lệ, cùng hơn 5.000 mẫu Anh (2.000 ha) khiến ông trở thành chủ đất lớn nhất và là công dân hàng đầu ở Piedmont. Mẹ của James Jr. là Nelly Conway Madison(1731-1829) sinh ra tại Cảng Conway, là con gái một thương gia trồng thuốc lá nổi tiếng.[3] Vào những năm sau này, các thuộc địa miền Nam trở thành xã hội nô lệ, trong đó lao động nô lệ trợ nền kinh tế và chủ nô hình thành các tầng lớp chính trị.[4]

Từ 11 đến 16 tuổi, cậu bé "Jemmy" Madison được gửi theo học Donald Robertson, một giảng viên tại Innes Plantation ở Quận King And Queen, Virginia, trong khu vực Tidewater. Robertson là giáo viên người Scotland dạy kèm cho một số gia đình trồng thuốc lá nổi tiếng ở miền Nam. Madison được Robertson dạy toán học, địa lý, ngôn ngữ hiện đại và cổ xưa, ông trở nên đặc biệt thành thạo tiếng Latinh. Bản năng siêng học của ông "phần lớn là nhờ người ấy [Robertson]"[5][6]

Năm 16 tuổi, ông trở về đồn điền Montpelier, nơi ông bắt đầu một khóa học hai năm nghiên cứu với giáo sư Thomas Martin để chuẩn bị cho đại học. Không giống hầu hết những người bạn khác cùng bang Virginnia vào thời ấy, Madison không học Đại Học William&Mary, nơi đất thấp Williamsburg, khí hậu khiến ông dễ ​​bị nhiễm bệnh và không tốt cho sức khỏe yếu ớt của ông. Thay vào đó, năm 1769, ông theo học Đại Học New Jersey(là Đại Học Princeton sau này), nơi ông là bạn cùng phòng và là bạn thân thiết với nhà thơ Philip Freneau. Madison cũng từng cầu hôn chị gái của Freneau là Maria nhưng không thành công.[7]